Ganges est une seigneurie du diocèse de Maguelone tenue depuis le XIe siècle par un lignage qui joue un rôle politique de premier plan dans cette partie du Bas Languedoc. La position géographique de Ganges est stratégique. Située entre plaines et montagnes, aux confluents de la Vis, de l'Hérault et du Rieutord, elle est un lieu de passages et d'échanges grâce à ses richesses naturelles. C'est à l'origine une villa divisée en deux : une partie épiscopale centrée autour de l'église paroissiale Saint-Pierre, et une partie comtale, autour de la demeure du seigneur. Les deux parties sont réunies en 1289 lorsque l'évêque de Maguelone achète à Henri de Rodez ses droits comtaux sur Ganges et son arrière-pays. L'église de Ganges est alors centre d'un archidiaconé du diocèse de Maguelone. Dès le XIIIe siècle, l'administration seigneuriale, à Ganges, est confiée à un viguier ; le pouvoir seigneurial doit composer, depuis 1270, avec une communauté d'habitants représentée par des syndics attachés à leurs libertés plusieurs fois confirmées.
Les premiers seigneurs de Ganges, de la dynastie des Pierre, sont attestés à partir de la moitié du XIe siècle. Dom Vaissette évoque, dans son Histoire générale de Languedoc, le rôle joué par les Pierre lors de la première croisade, durant laquelle Guillaume de Pierre, accompagnant Raimond de Saint-Gilles, comte de Toulouse, sert en 1098, au siège d'Antioche, et meurt au siège de Tyr. Son frère, Pierre de Pierre, est le premier baron de Ganges attesté vers 1050. Ces seigneurs sont d'abord vassaux des comtes de Melgueil, pour une partie de la baronnie de Ganges ; ils le deviennent ensuite des évêques de Maguelone, depuis l'union du comté de Melgueil au domaine de l'évêché de Maguelone. Les seigneurs de Pierre, outre la seigneurie de la ville et du château de Ganges, possèdent, aux XIIe et XIIIe siècles, les terres de Sumène, Brissac, Montoulieu, Londres, Cazilhac, Soubeyras, les villes de Gignac et de Molières, et les baronnies de Pierrefort, de Castries (vendue à la famille de la Croix en 1495), de Montfrin et d'Hierle, constituant une importante puissance seigneuriale en Languedoc. La maison de Pierre a noué des alliances avec de prestigieux lignages dont les Anduze, eux-mêmes apparentés aux comtes de Toulouse et aux seigneurs de Montpellier. L'éclat en Languedoc de la famille de Pierre est tel que les lignages de Pierrefort et d'Hérail, qui lui ont succédé à Ganges, ont tenu à conserver les noms et armoiries des Pierre, en renonçant à ceux qu'ils avaient jusqu'alors portés. Pons de Pierre, fils de Pierre de Pierre, est à l'origine de la lignée des barons de Ganges dont une descendante, Béatrice de Pierre, porte, au XIVe siècle, l'héritage dans la maison de Pierrefort, par son mariage, vers 1325, avec Gilbert II de Pierrefort ; leur fils Raimond (Raimond V Pierre) hérite vers 1346 de la baronnie de Ganges.
En 1508, Jeanne de Pierre (Pierrefort), fille de Bertrand II, baron de Ganges, de Pierrefort et d'Hierle, épouse Pierre d'Hérail, seigneur de Buzaringue, en Rouergue ; leur fils René hérite de la baronnie de Ganges et de Pierrefort, en 1554, après avoir contesté devant le parlement de Toulouse la donation de la baronnie faite par Françoise de Pierrefort, sa tante, à Jean de Béziers. René Hérail prend les noms et armes des Pierre, mais vend en 1560 la baronnie de Ganges, sans Pierrefort, à Baltazar de Saint-Etienne, seigneur de Saint-Martial. La petite-fille de ce seigneur, Jeanne de Saint-Etienne, porte finalement la baronnie de Ganges dans la maison de Vissec de Latude, en 1629, par son mariage avec Jean de Vissec de Latude, gentilhomme ordinaire de la chambre du roi et maréchal de camp. Ganges reste alors la propriété de cette famille jusqu'à la Révolution.
La famille de Vissec trouve son origine au château de Vissec, dans la vallée de La Vis, au pied du causse du Larzac et à l'extrémité des diocèses de Lodève et d'Alès. Sa filiation est attestée depuis le XIVe siècle, mais on trouve, dans le cartulaire de Gellone, un Gérald de Vissec mentionné en 1077, un autre Gérald en 1112, puis un Raymond en 1164 ; en 1080, une donation est faite à cette même abbaye par Raymond de Roquefeuil époux de Stéphanie de Vissec. En 1458, une descendante, Antoinette Milhasse, dame de Vissec, épouse Jean de Montfaucon, fils de Georges de Montfaucon, la seigneurie de Vissec passant ainsi à la lignée des Montfaucon. La branche des Vissec de Latude (ou La Tude) acquiert, par le mariage en 1629 de Jean-Pons de Vissec de Latude avec Jeanne de Saint-Étienne, la baronnie de Ganges, qui donne droit d'entrée aux États du Languedoc, et qui est érigée en marquisat en 1663 en faveur de son fils Charles de Vissec de Latude. En 1658, les Vissec de Latude s'unissent aux Joannis de Châteaublanc, d'Avignon, par le mariage de Charles de Vissec, baron puis marquis de Ganges, avec Diane de Joannis de Châteaublanc (1636-1667), marquise de Castellane puis de Ganges. Les circonstances dramatiques de la mort de la marquise de Ganges, empoisonnée puis assassinée par les deux frères de son mari, a eu un fort retentissement dans tout le royaume et inspiré un roman au marquis de Sade. Convaincu de complicité, Charles de Vissec est emprisonné trois ans, son marquisat lui est retiré au profit de son autre frère François, puis de son fils Alexandre de Vissec de Ganges (1659-1713). Autres personnalités importantes de l'histoire familiale, la comtesse de Ganges, épouse de François de Vissec de Latude, est la maîtresse du cardinal de Bonzi, au début du XVIIIe siècle ; Pierre de Vissec est gouverneur des Invalides entre 1730-1738 ; Charles-Alexandre de Vissec épouse, en janvier 1743, Françoise de Sarret, dame de Saint-Laurent-le-Minier, unissant les Vissec à une riche et influente famille montpelliéraine.
Les Sarret de Saint-Laurent-le-Minier sont une famille originaire de Montpellier qui a gravi la hiérarchie sociale grâce à l'exercice des charges communales et royales (consuls, viguiers, conseillers à la Cour des aides), et aux unions avec la noblesse de robe d'abord, puis avec l'aristocratie seigneuriale (La Baume-Saint-Laurent, Vissec de Latude). Le premier personnage marquant, Pierre-Raimond de Sarret, acquiert les seigneuries d'Agnac, Coussergues au diocèse d'Agde, en 1495, et la coseigneurie de Fabrègues, où il est inhumé. Son fils Jacques est le fondateur de la lignée des Sarret de Montpellier ; il investit la vie publique montpelliéraine. Après des études juridiques à Montpellier, il devient viguier de Maguelone en 1532. Son mariage, en 1537, l'associe à une famille d'officiers de justice, les Lasset, seigneurs de Baillargues, qui l'aide à devenir auditeur de la Chambre des comptes, inaugurant la tradition juridique des Sarret. En 1544, il acquiert différents biens autour de Murviel-lès-Montpellier et Pérols. En 1548, il prend en charge la gestion de la grange capitulaire de Maurin. Il devient premier consul de Montpellier en 1557 et achète peu de temps après la seigneurie de Saint-Jean-de-Védas (vers 1563). Jacques Sarret se convertit au protestantisme mais ses descendants reviendront rapidement au catholicisme. Son fils, Philippe, poursuit son exemple en devenant à son tour premier consul de Montpellier, en 1588 ; il est aussi le premier de la longue lignée des Sarret, magistrats de la Chambre des comptes, puis de la Cour des comptes, aides et finances de Montpellier. Diplômé en droit, attiré par la magistrature, Philippe de Sarret épouse, en 1582, Catherine de Trinquaire, de la famille des seigneurs des Baux, qui a donné de nombreux magistrats, et qui représente un milieu favorable pour son entrée en carrière. Jean de Trinquaire, frère de son épouse Catherine, offre à Philippe sa charge d'avocat général aux Aides, comme partie de la dot de sa sœur. Philippe de Sarret est reçu à la Cour des comptes en 1583 ; en 1594, il quitte la charge d'avocat général pour celle de conseiller. En 1608, son fils Jean devient conseiller de la Cour ; il le restera près d'un demi-siècle. Jean développe les alliances familiales avec la noblesse de robe en épousant, en 1620, Gilette de Solas, fille de Jean, conseiller aux Aides depuis 1607 et président en 1622. Par le mariage, en 1656, de leur fils Pierre de Sarret, conseiller à la Cour des comptes, aides et finances, et de Marie de Bonnail, fille du seigneur de la Baume-Auriol, Navacelles et Saint-Laurent, les Sarret s'attachent un titre seigneurial et s'assurent l'héritage de la seigneurie de Saint-Laurent-le-Minier. Leur fils Etienne de Sarret-Saint-Laurent, conseiller à la Cour des comptes, aides et finances, épouse, en 1686, Marie Boudon, fille de Philippe Boudon, trésorier de France depuis 1650 et intendant des gabelles de la généralité de Montpellier. Leur fils Philippe Maurice de Sarret-Saint-Laurent épouse, en 1717, Françoise Dequoy, fille de Jean Dequoy, conseiller du roi et receveur général du taillon en la généralité de Montpellier. Leur fille Marie-Françoise, s'unit, en 1743, à Charles de Vissec, marquis de Ganges.
Citadins montpelliérains, les Sarret ont marqué le paysage urbain en investissant leurs capitaux dans des maisons ; au début du XVIIIe siècle, ils en possèdent et louent une vingtaine à Montpellier. La maison de La Coquille, place de la Canourgue, est leur principale maison d'habitation, construite dans les années 1630-1640. Aux maisons de ville s'ajoute une possession rurale en périphérie de Montpellier, la métairie Saint-Jean, entre Pérols et Lattes, acquise par Jacques de Sarret en 1544. Les Sarret s'illustrent également dans des activités financières en s'associant à des hommes d'affaires, notamment au sein du traité Albus.
La seigneurie de Saint-Laurent-le-Minier dont les Sarret portent la propriété en 1743 dans la famille de Vissec, fait partie, au Moyen-Age, de la seigneurie d'Hierle qui est rattachée à celle de Ganges-Cazilhac par le mariage au début du XIVe siècle de Gilbert de Pierrefort avec la fille de Raymond de Pierre, de Ganges. Vers 1510, la dernière descendante des Pierrefort, Françoise, épouse Jean de Béziers, seigneur de Vénéjan. Le couple vend, en 1541, Hierle et Saint-Laurent à Fulcrand de Montfaucon, seigneur de Vissec. Saint-Laurent est disjointe en 1649 est devient la propriété des Bonnail. Cazilhac est vendue à Alexandre de Grillet en 1556 ; ses descendants revendent la seigneurie en 1648 à Jean-Pons de Vissec, de Ganges. Le terroir de Saint-Laurent-le-Minier bénéfice de nombreuses ressources fournies en grande partie grâce aux eaux de La Vis : des roues et des moulins, des prairies, des jardins, des arbres fruitiers, des plantations de chanvre, des vignes, des mûriers ; vers 1650, une papeterie est construite.
En janvier 1629, le marquisat de Ganges étend ses possessions sur le territoire de Cazilhac (ou Casillac) grâce au mariage de Jean Pons de Vissec, seigneur de Cazilhac, avec Jeanne de Saint-Etienne, baronne de Ganges. Le terroir est un pays d'élevage, où l'on produit de la laine pour confectionner des grosses toiles de Cadis et de Sargas. Au milieu du XVIIIe siècle, la concurrence des grands centres drapiers de Lodève et de Clermont l'Hérault, pousse les foulons à reconvertir leur activité. Le village se lance dans la sériciculture, motivé, d'une part, par les primes offertes par le roi et les Etats du Languedoc pour la plantation de mûriers, et d'autre part, par la position du bassin de Ganges comme capitale française du bas de soie de luxe.
Cœur de la seigneurie, le bourg de Ganges est le centre d'un terroir rural où on cultive du blé, des olives, du vin, où on élève des moutons et des vers à soie et où on plante des mûriers. Les activités agricoles et artisanales marquent le paysage, notamment par la construction de nombreux moulins drapiers et bladiers. La propriété agricole est morcelée et réduite, mais des villageois possèdent des terres dans les terroirs voisins de Cazilhac et Laroque, également terres seigneuriales. L'artisanat est fortement présent dans le village, sous la forme de nombreux métiers : tanneurs, tonneliers, cordonniers, marchands, drapiers, tisserands. Toute cette population agricole et artisanale donne à Ganges sa dimension commerciale, encouragée par sa situation géographique. Le bourg est en effet une place d'échange avec les Cévennes, à l'occasion de foires régulières, mais aussi grâce à la route du sel qui, des étangs languedociens, pénètre le Massif central par Ganges. La communauté villageoise est d'environ 2400 habitants au XVIIe siècle ; l'accroissement est régulier du fait de l'attraction de Ganges sur les localités voisines. Dès le XIIIe siècle, cette communauté a acheté ses libertés vis-à-vis du pouvoir seigneurial, et a veillé à les conserver. Depuis 1270, elle est autorisée à élire tous les ans deux syndics et à s'ériger en commune. Elus à la Saint-Jean, les syndics détiennent des pouvoirs considérables. Ils gèrent les finances de la ville, ordonnent les dépenses et doivent rendre compte de leur gestion à six auditeurs chargés de les contrôler. Ils sont assistés d'un conseil de douze membres élus par les quartiers qui, en cas d'opposition entre syndics et conseillers, peuvent arbitrer les conflits. La communauté profite de l'affaiblissement du pouvoir seigneurial, à l'occasion des successions, pour racheter d'autres libertés. Elle obtient notamment l'emphytéose perpétuelle de deux fours et d'un moulin à huile, le droit de pêche dans l'Hérault, le droit de vendre du vin à volonté ; ces droits acquis deviennent une source de revenus importants pour la communauté. Cet attachement aux libertés est renforcé par l'avènement du protestantisme qui, au XVIe siècle, pénètre fortement la communauté. Il tend à s'imposer comme le moteur de la vie municipale par le biais du consistoire, dont chaque habitant est justiciable, et qui constitue l'émanation de la communauté. Face à cette communauté soucieuse d'indépendance, le pouvoir seigneurial conserve son droit de justice et d'autres droits symboliques ; il reste le grand propriétaire foncier. Le seigneur est représenté par le viguier qui, en son absence, est le premier personnage de Ganges. Au XVIIIe siècle, François Bonnefous est un personnage marquant de l'histoire municipale. Juge au service des marquis de Ganges, il est également viguier, puis maire de Ganges ; il exerce en outre des fonctions de secrétaire, d'archiviste et de régisseur du marquisat de Ganges ; il est enfin curateur honoraire du dernier marquis Philippe Maurice Charles de Vissec.
